KaLM-Reranker-V1: Fast but Not Late Interaction for Compressed Document Reranking
KaLM-Reranker-V1：基于编码器-解码器的快速重排序与可压缩文档表示
🧭 高效重排序 · FBNL 范式 ★ 深度解读
Harbin Institute of Technology (Shenzhen) · Shenzhen Loop Area Institute (SLAI)
用编码器-解码器解耦文档/查询计算 + 跨注意力 + 嵌套池化压缩，在保持强排序力的同时大幅降低在线计算量
📌 工作参考价值（4 点）
- 离线编码 + 在线交叉注意力：将文档编码器独立出来，文档表示可预计算并缓存；在线只需运行解码器进行查询‑文档交互，大幅降低重复计算。适合电商搜索/推荐中大量候选文档的场景，可显著节省 GPU 成本。
- Matryoshka 嵌入池化：沿序列维度压缩文档表示，通过均值池化得到紧凑的缓存向量，支持 2‑32 倍压缩比。工程上可按存储/延迟要求灵活选择压缩率，轻量模型（如 0.27B）在 2‑4 倍压缩时性能几乎无损，能平衡存储成本与重排序效果。
- 多阶段训练与知识蒸馏：先做无指令通用重排，再加任务指令适配，最后用教师模型软标签蒸馏。可用于业务中冷启动或数据稀缺的垂类，提升正负样本区分度，尤其对困难负例更友好。
- FBNL 范式可嵌入现有 pipeline：任何两阶段召回‑排序系统中，可将第二阶段的传统交叉编码器替换为 FBNL 结构，文档离线编码后即服务，重排时仅消耗轻量解码器。在推荐、广告、问答等场景均可尝试，建议优先用于长文档或多候选场景。